อาร์ชดยุกฟรันทซ์ แฟร์ดีนันท์ประสูติเมื่อวันที่ 18 ธันวาคม ค.ศ. 1863 ที่เมืองกราซ จักรวรรดิออสเตรีย เป็นพระโอรสองค์ใหญ่ในอาร์ชดยุกคาร์ล ลูทวิชแห่งออสเตรีย (พระโอรสในอาร์ชดยุกฟรันทซ์ คาร์ล และทรงพระอนุชาในจักรพรรดิฟรันทซ์ โยเซ็ฟ) และพระชายาองค์ที่ 2 ของพระองค์ เจ้าหญิงมาเรีย แอนนันซิเอตาแห่งซิซิลี เมื่อพระองค์ทรงเจริญพระชันษา 12 ปี ดยุกฟรังเซสโกที่ 5 แห่งโมเดนา พระปิตุลาของพระองค์ทรงสิ้นพระชนม์กะทันหัน ทำให้พระองค์ทรงได้รับสืบพระยศเป็นอาร์ชดยุกแห่งออสเตรีย-เอ็สเทอ และดยุกแห่งโมเดนา

ตั้งแต่พระองค์ประสูติ ประชาชน ราชนิกุลชั้นสูงหรือบุคคลคณะต่างๆ ไม่เคยคาดคิดเลยว่าพระองค์จะทรงเป็นองค์รัชทายาทแห่งราชบัลลังก์อิมพีเรียลออสเตรีย-ฮังการี พระองค์ทรงได้รับการศึกษาอย่างเรียบง่าย โดยอาจารย์ของพระองค์นั้นเน้นสอนในทางประวัติศาสตร์และศีลธรรมเป็นส่วนใหญ่ โดยอาจารย์ของพระองค์คือนักประวัติศาสตร์ ออนโน คล๊อป ตั้งแต่ปี ค.ศ. 1876 ถึง 1885 และในปี 1882 พระองค์ได้ทรงเข้าร่วมกองทัพราชนาวี โดยพระองค์ได้ทรงยศทหารเป็นร้อยโท

เมื่อทรงพระเยาว์นั้น พระองค์ทรงงานอดิเรกเป็นประจำ นั่นคือการล่าสัตว์และท่องเที่ยว โดยพระองค์ทรงสามารถล่ากวางได้มากกว่า 5,000 ตัว และพระองค์ทรงชอบเสด็จประพาสไปยังประเทศต่างๆ ด้วย โดยเมื่อปี ค.ศ. 1882 พระองค์เสด็จเยือนประเทศอิตาลี และอีกสองปีต่อมาก็เสด็จประพาสอียิปต์ ปาเลสไตน์ ซีเรีย และออตโตมัน และปี 1889 เสด็จเยือนเยอรมนี

เมื่อปี 1889 ชีวิตของพระองค์ถูกเปลี่ยนดังละคร เมื่อพระญาติของพระองค์ อาร์ชดยุกรูดอล์ฟ มกุฎราชกุมารแห่งออสเตรีย-ฮังการี ซึ่งเป็นพระราชโอรสในจักรพรรดิฟรันทซ์ โยเซ็ฟ ทรงสิ้นพระชนม์กะทันหันจากการฆ่าตัวตายที่ คฤหาสน์ล่าสัตว์ที่มาเยอร์ลิง รัฐนีเดอร์เอิสเทอร์ไรช์ จักรวรรดิออสเตรีย ทำให้อาร์ชดยุกคาร์ล ลูทวิช พระบิดาของพระองค์เป็นรัชทายาทแห่งออสเตรีย-ฮังการี และตัวอาร์ชดยุกฟรันทซ์ แฟร์ดีนันด์ กลายเป็นรัชทายาทลำดับที่ 2 ต่อมาพระบิดาของพระองค์ทรงสละสิทธิ์ในการสืบราชสมบัติ ทำให้อาร์ชดยุกฟรันซ์ แฟร์ดีนันท์ทรงเป็นองค์รัชทายาทลำดับที่ 1 แต่ทรงเป็นองค์รัชทายาททางพฤตินัย ไม่มีการสถาปนาอย่างเป็นทางการ